{
 "cells": [
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# Bahdanau 注意力\n",
    "\n",
    "循环神将网络编码器将可变序列转换为固定形状的上下文变量，\n",
    "\n",
    "然后循环神经网络解码器根据生成的词元和上下文变量按词元生成输出（目标）序列词元。\n",
    "\n",
    "但是，即使并非所有输入（源）词元都对解码某个词都有用，但在每个解码步骤中仍使用编码整个输入序列的相同上下文变量。\n",
    "\n",
    "在为给定文本序列生成手写的挑战中，格雷夫斯设计了一种可微注意力模型，将文本字符与更长的笔迹对齐，其中对齐方式仅向一个方向移动。受学习对齐想法的启发，Bahdanau等人提出了一个没有严格的单向对齐限制的可微注意力模型。在预测词元时，如果不是所有输入词元都相关，模型将仅对齐（或参与）输入序列中与当前预测相关的部分。这是通过将上下文变量视为注意力集中的输出来实现的。"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 2,
   "metadata": {},
   "outputs": [],
   "source": [
    "# TODO"
   ]
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "pytorch_gpu",
   "language": "python",
   "name": "pytorch_gpu"
  },
  "orig_nbformat": 4
 },
 "nbformat": 4,
 "nbformat_minor": 2
}
